最近的工作取得了令人印象深刻的进展,从单眼颜色图像中联合重建手和操纵物体。现有的方法着重于两个替代表示,以参数网格或签名的距离字段(SDF)。一方面,参数模型可以以有限的形状变形和网格分辨率的成本从先验知识中受益。因此,网格模型可能无法精确地重建细节,例如手和物体的接触表面。另一方面,基于SDF的方法可以代表任意细节,但缺乏明确的先验。在这项工作中,我们旨在使用参数表示提供的PRIOR来改善SDF模型。特别是,我们提出了一个联合学习框架,该框架可以解散姿势和形状。我们从参数模型中获取手和对象摆姿势,并使用它们在3D空间中对齐SDF。我们表明,这种对齐的SDF可以更好地专注于重建形状细节,并提高手和物体的重建精度。我们评估了我们的方法,并在挑战性的OBMAN和DEXYCB基准方面证明了对最新技术的显着改善。
translated by 谷歌翻译